פרויקט מסכם לתואר בוגר במדעים )B.Sc( במתמטיקה שימושית

המחלקה למתמטיקה Department of Mathematics פרויקט מסכם לתואר בוגר במדעים )B.Sc( במתמטיקה שימושית מקדם מתאם מנורמל נדב וגנר Normalized Cross-Correlation Nadav Wagner I

פרויקט מסכם לתואר בוגר במדעים )B.Sc( במתמטיקה שימושית מקדם מתאם מנורמל נדב וגנר Normalized Cross-Correlation Nadav Wagner Advisor: Dr. Samuel Kosolapov מנחה: ד"ר שמואל קוסולאפוב Karmiel 1024 כרמיאל II

תקציר הפרויקט בוצע במסגרת פרויקט גמר במחלקת מתמטיקה שימושית במכללת אורט בראודה. הפרויקט הינו פרויקט הרחבה לפרויקט גמר שעשיתי במחלקת הנדסת חשמל. הפרויקט עוסק במודל מקדם מתאם מנורמל Correlation( )Normalized Cross ושימושיו בעיבוד תמונה. בהתחלה נציג את ההיסטוריה של המודל והפיתוחים המתמטים. לאחר מכן נציג 3 שימושים עיקריים של המודל בעיבוד תמונה, מציאת אובייקט, עקיבה אחר אובייקט והפרויקט בהנדסת חשמל שעסק בזיהוי ספרות. הפרויקט של זיהוי ספרות עסק בעיצוב ובנייה של מערכת משוב מהירה System) (FFS Fast Feedback אשר תפעל כיישום אנדרואיד לשליחת תמונה של מבחן אל שרת, אשר יבצע עיבוד תמונה ויפענח את תשובת המבחן. בפרויקט פותח יישום אנדרויד בשפת תכנות.Java + XML היישום כולל 3 חלקים: לקיחת תמונה - אחראית לפנות להפעיל את המצלמה ולשמור את התמונה בשם ספציפי. כיווץ תמונה - אחראית על המרת התמונה לגודל סטנדרטי 1024x768. שליחת תמונה - אחראית על המרת הקובץ לקבצים ושליחתם דרך DATA/WIFI אל שרת PHP והמתנה לתשובה כדי להציג את התשובה..1.2.3 בפרויקט פותח שרת,PHP אשר מקבל את התמונה מהטלפון החכם. השרת מותקן על מחשב אישי על-ידי תוכנת.WAMPServer פיתוח סקירפט בשפת תכנות PHP אשר מקבל את התמונה ומפעילה את תוכנת Matlab אשר מבצע עיבוד תמונה. בפרויקט נעשה עיבוד תמונה על-ידי תוכנת.Matlab הסקריפט הראשון מבצע הזזה ומתקן את הקנה מידה של התמונה. הסקריפט השני חותך את התמונה ספרות לצורך זיהוי בסיום משווה מול תבנית של המרצה לחישוב הצלחה כישלון של התשובה בסיום מחזיר תשובה לטלפון החכם. הקדשות ותודות ברצוני להודות למנחה, ד"ר שמואל קוסאלפוב, שהנחה אותי בכל שלבי הפרויקט ועל כך שליווה את עבודתי במסירות ומקצועיות רבה, היה תמיד זמין לשאלות וידע לכווני בדרך הטובה ביותר. III

תוכן עניינים: תקציר... III הקדשות ותודות III... תוכן עניינים... IV רשימת איורים... VI רשימת טבלאות... VI.1 מבוא... 1.1.1 עיבוד תמונה... 1.1.2 פיקסלים... 2 1.3. זיהוי מטרות אוטומטי... 2 1.1. מקדם מתאם של פירסון... 3 1.1. מקדם מתאם מנורמל... 3.1.1 הסבר על אנדרויד )Android(... 3 1.1. הסבר על שרת-לקוח...)Client-Server( 3.1.1 הסבר על מחשוב בענן computing( )Cloud... 1.1.1 הסבר על מחלקה )Class(... 1.2 סקר ספרות... 1 3. הצגת משוואת מקדם מתאם... 1 3.1. חסרונות בשימוש במקדם מתאם דיסקרטי... 1 3.2. הצגת מקדם מתאם מנורמל... 1 3.3. מימוש אלגוריתם מקדם מתאם מנורמל... 1 1. שימושים במקדם מתאם מנורמל... 1 1.1. מציאת אובייקט... 1 1.2. עקיבה אחר אובייקט... 1 1.3. זיהוי ספרות... 1 1.3.1. מפרט פונקציונאלי... 1 1.3.2. תרשים מלבנים כולל של המערכת... 1 1.3.3. אפליקציית אנדרויד... 11 1.3.3.1. שלב תכנון בניית האפליקציה... 11.1.3.3.2 לקיחת תמונה... 11 1.3.3.3. הורדת קנה מידה לתמונה... 11 1.3.3.1. העלאת תמונה לשרת והמתנה לתשובה... 11.1.3.3.1 דיאגרמת מחלקה Diagram...Class 12.1.3.1 טופס תשובות... 12 1.3.1.1. תכנון טופס תשובות... 12 1.3.1.2. הוראות צילום ומילוי טופס בחינה... 13 1.3.1.3. טופס הבחינה... 13 IV

.1.3.1 שרת... PHP 13.1.3.1.1 תכנון שרת... PHP 13.1.3.1 עיבוד תמונה... 11 1.3.1.1. סיבוב ותיקון קנה מידה... 11 1.3.1.2. חיתוך וזיהוי... 11 1. סיכום ודיון... 11.1.1 סיכום... 11.1.2 מסקנות... 11.1 סימוכין... 11 V

רשימת איורים איור 1 תמונה בגוון אפור ומטריצה דו-מימדית... 2 איור 2 תמונה צבעונית איור ומטריצה תלת-מימדית... 2 איור 3 מערכת ATR טיפוסית... 2 1 מציאת מרחק על ידי משוואת מרחק אוקלידית בריבוע... 1 איור 1 התאמת תבנית לתמונה... 1 איור 1 מציאת אובייקט בתוך תמונה... 1 איור 1 עקיבה אחר אובייקט... 1 איור 1 תרשים זרימה של מכלולי הפרויקט... 11 איור 1 תרשים זרימה של האפליקציה... 11 איור 11 מסך ראשון... 11 איור 11 אפשור צילום/בחירה... 11 איור 12 הודעת שגיאה... 11 איור 13 מסך שני... 11 איור 11 מסך שלישי... 12 איור 11 העלאת תמונה... 12 איור 11 תשובה מהשרת... 12 איור 11 דיאגרמת מחלקות... 12 איור 11 אפשרויות הכתיבה... 13 איור 11 טופס הבחינה... 13 איור 21 תרשים זרימה של השרת... 11 איור 21 אלגוריתם SIFT לתיקון סיבוב ויחס קנה מידה... 11 איור 22 דרך פעולה של Median פילטר 3x3... 11 איור 23 אלגוריתם מציאת ספרה... 11 רשימת טבלאות טבלה 1 תוצאות זיהוי ספרת... 11 טבלה 2 טבלת זיהוי הסתברות והטעויות הנפוצות לכל ספרה... 11 VI

1. מבוא פרויקט זה הוא פרויקט הרחבה מתמטית לפרויקט גמר בהנדסת חשמל. כיום קיימות שיטות רבות לבדיקה אוטומטית של טפסי תשובות ומתן ציון כאשר הדרך הפופאלרית ביותר היא השאלון האמריקאי Question(.)Multiple Choice אציג כאן שיטה חדשה של מערכת משוב מהירה ) FFS ), Fast Feedback System - אשר תפעל על עקרון זיהוי ספרות מהצורה של.Seven Segment כיום בעולם הדיגיטלי עם הנגישות הגבוהה לטלפונים חכמים שכולם בעלי גישה לאינטרנט, ניתן לנצל זאת כדי לפתח מערכת אוטומטית ללקיחת תמונה של טופס התשובות ובכך לקבל באופן אוטמטי את תוצאות המבחן. מטרת הפרויקט בהנדסת חשמל היא לפתח אפליקצית אנדרויד ללקיחת תמונה ושליחתה לשרת חיצוני אשר יבצע עיבוד תמונה. העיבוד תמונה יתבסס על Cross- Normalized D-2 Correlation ויחזיר תשובה לטלפון החכם בצורת ציון. העבודה נעשתה בכמה שפות תכנות:.XML ו- Java אפליקציית אנדרויד:.PHP :PHP שרת.Matlab עיבוד תמונה: מטרת הפרויקט במתמטיקה שימושית היא להראות את הפיתוח המתמטי של המודל מקדם מתאם מנורמל ואיך ניתן להשתמש בו בעיבוד תמונה בדגש למערכת משוב מהירה.FFS f x, y : 1.1.עיבוד תמונה עיבוד תמונה הינו תחום המשלב מתמטיקה, הנדסת חשמל ואלקטרוניקה והנדסת תוכנה. התחום עוסק בעיבוד של תמונות ובמניפולציות שונות שניתן לבצע עליהם. התמונה נדגמת והופכת מאות רציף לאות דיגיטלי )בדיד( ועליו נעשה העיבוד. עיבוד תמונה נעשה לשתי מטרות עיקריות: שיפור התמונה: הורדת "רעשים", הדגשת פרטים, חידוד, תיקון רמות אפור, תיקון צבעים וכדומה. הסקת מסקנות: מדידות, זיהוי פגמים, זיהוי צורות. עיבוד תמונה זהו פעולה אשר לוקחת תמונה כפלט ומוציאה כפלט תמונה. בדרך כלל תמונה תוגדר. f. xy, מגדיר לנו את העוצמה בנקודה f a bxc d :,, 0,1,,,,,,. f x y f x y f x y f x y r g b 2 2 כאשר מוגדר באזור מרובע עם גודל סופי תמונה צבעונית מוגדרת 1

כל תמונה לאחר ההמרה לאות דיגיטלי מורכבת מנקודות זעירות הקרויות פיקסלים. כל תמונה מוגדרת כמטריצה תלת מימדית במקרה של תמונה צבעונית או מטריצה דו מימדית במקרה של תמונה בגוון אפור או שחור לבן. איור 1 תמונה בגוון אפור ומטריצה דו-מימדית איור 2 תמונה צבעונית ומטריצה תלת-מימדית 1.2.פיקסלים בעיבוד תמונה פיקסל או אלמנט בתמונה זהו גודל פיסי או עוצמה של הגודל הקטן ביותר בתמונה. הכתובת של הפיקסל מציינת את המיקום הפיזי בתמונה. כל פיקסל זהו דגימה של האות המקורי כאשר כל פיקסל משנה את עוצמת הפיקסל בהתאם לאות המקורי. נתייחס לעוצמת הפיקסלים בצורה הבאה: בתמונה צבעונית או אפורה 0,255, בתמונה שחור לבן. 0,1 1.1.זיהוי מטרות אוטומטי הפיתוח של מערכות לזיהוי מטרות אוטומטי recognition( )ATR-automatic target צריך להתמודד עם אתגרים רבים כגון: זיהוי מטרות מרובה, אזורים גאוגרפים שונים, תנאי מזג האוויר, סיבוב, קנה מידה ועוד בעיות רבות. כל מערכת צריכה להיות מותאמת לזיהוי מטרות ספציפי כדי למנוע זיהוי שגוי. כל מערכת ATR כוללת בתוכה עיבוד מקדים, חלוקה, הבלטת תוכנות, סיווג, תעדוף ומעקב. מסך כל המכלולים האלו אנו נתמקד בעיקר במודלים של סיווג וזיהוי שמוצגים באיור 3 במקרה הכללי. 2 איור - 1 מערכת ATR טיפוסית

XY, 1.1.מקדם מתאם של פירסון מקדם מתאם של פירסון הוא מדד למתאם לינארי בין שתי קבוצות X ו- Y של מספרים ונותן תוצאה בין : 1,1 כאשר 1+ קיים קשר חיובי בין 2 המשתנים. כאשר 1 לא קיים קשר בין שני המשתנים. כאשר 1- קיים קשר שלילי בין 2 המשתנים. השימוש העיקרי הוא להראות קשר לינארי בין 2 משתנים. לאחר קבלת המקדם של פירסון נקבל מידע על עוצמת הקשר, ככל שנתקרב לערכים 1+, 1- העוצמה חזקה יותר ובנוסף נקבל מידע על כיוון הקשר חיובי או שלילי. X Y E X Y E XY E X E Y cov, X Y X Y X Y 2 2 2 2 E X E X E Y E Y במקרה ויש לנו דגימה, כאשר ידועים לנו את כל הנתונים ניתן להשתמש בנוסחא באופן הבא: r n n i1 X i X Yi Y n X i X Yi Y i1 i1 2 2 1.1.מקדם מתאם מנורמל בעולם העיבוד תמונה מקדם מתאם פירסון נקרא מקדם מתאם מנורמל ( NCC-Normalized,)Cross-Correlation משתמשים בשיטה זו למציאת דימיון או חוסר דימיון בין 2 תמונות או אותות. Normalized Cross Correlation הוא כלי סטיסטי למציאת דמיון בין 2 סיגנלים. כיום בעולם הדיגטלי יש צורך ממשי באלגוריתמים מדוייקים ומהירים להתאמת תבניות למימוש מגוון אפליקציות בעיבוד תמונה. כמו מקדם פירסון הערך שנקבל יקבע את רמת הלינאריות בין 2 תמונות כאשר קרוב ל- 1 מראה על קשר לינארי וקרוב ל- 1 מראה על חוסר קשר. 1.1.הסבר על אנדרויד :)Android( מערכת אנדרויד היא מערכת הפעלה המופצת על ידי חברת Google בשיתוף פעולה עם Open.Handset Alliance מערכת הפעלה זו מעוצבת במיוחד לשימוש בטלפונים חכמים מבוססי מסך מגע וטאבלטים. לקראת סוף שנת 2111, מערכת הפעלה אנדרואיד הפכה למערכת ההפעלה הנפוצה ביותר בעולם לטלפונים חכמים. בשנת 2112 היא שלטה ב- 11% מכלל שוק הטלפונים החכמים העולמי. 1.1.הסבר על שרת-לקוח :)Client-Server( מודל שרת-לקוח הוא אחד מתצורות התקשורת הנפוצות שיש ברשתות מחשבים. עקרון הפעולה זה שהוא מחלק את המשאבים )השרת(, לבין מבקש השירות )הלקוח(. הלקוח הוא תוכנה 3

אקטיבית שבה המשתמש צריך לפנות לשרת. השרת הוא תוכנה פסיבית, המאזינה לרשת ומחכה לפעול בהתאם לבקשות. 1.1.הסבר על מחשוב בענן computing( :)Cloud מחשוב בענן הוא שירותי מחשוב הניתנים למשתמש באמצעות מחשב מרוחק אליו מתחבר המשתמש דרך רשת האינטרנט. היתרון של השיטה זה שאנו משתמשים במשאבים של מחשב מרוחק במקום במשאבים של המחשב או טלפון חכם שלנו. 1.1.הסבר על מחלקה :)Class( מחלקה היא אחד המאפיינים של תכנות מונחה-עצמים. מחלקה מתארת אובייקט על מאפייניו ופעולותיו שכוללות משתנים, הגדרות ופונקציות המאוגדים למבנה יחיד ופועלים יחדיו. שימוש של מחלקה מופיע בכתיבת האפליקציית אנדרויד. 4

2. סקר ספרות טכניקות רבות בעיבוד תמונה פותחו ב- 1111 במעבדת,MIT,Jet Propulsion מעבדת,Bell אוניבירסטת מרילנד ועוד, כאשר השימושים העקריים היו צילומי לווין, צילומים רפואים, טלפון וידאו, זיהוי אובייקטים ושיפור תמונות. באותה תקופה העלויות והטכנולוגיה לא אפשרו את פתרונם של רוב הבעיות. ב- 1111 הטכנולוגיה של המחשבים אפשרה את התחלת תקופת עיבוד התמונה. כיום התחום מאוד רחב ומאפשר אפליקציות רבות בעיבוד תמונה. עיבוד תמונה דיגטלי מאפשר שימוש באלגוריתמים מרוכבים וכך מאפשר שימוש בשיטות שיהיו בלתי אפשריות בעולם האנלוגי. בפרט הטכנולוגיות הבאות יכולות להיפתר רק באמצעות עיבוד תמונה דיגטלי: סיווג, הבלטת תכונות, זיהוי תבניות, הקרנה וניתוח אותות בקנה מידה. חלק מהטכניקות שאיתם מבצעים עיבוד תמונה דיגטלי: פיקסליזציה, סינון לינארי, ניתוח גוורמים ראשיים, ניתוח גורמים עצמאים, מודל מרקוב חבוי, משוואות דיפרנציאליות חלקיות, רשת קוהונן, רשת עצבית מלאכותית,.Waveletes המחקר הראשון שעסק בנושא היה בשנת 1111 ע"י.J.P.Lewis באמצעות המחקר שלו פותח האלגוריתם למקדם מתאם מנורמל לזיהוי אובייקטים בתוך תמונה בתוכנה מטלב. במאמר Lewis מראה איך שימוש במקדם מתאם מנורמל פותר כמה בעיות ואיך ניתן בעזרת אלגוריתם פשוט לבצע זיהוי בתוך תמונה. מחקר נוסף שעליו הסתמכתי היה של סארביה, פאטניק ובומביוולה ( & Patnaik Sarvaiya, )Bombaywala 2009 שעסק בזיהוי תבניות בתוך תמונה כללית ע"י שימוש במקדם מתאם. מאמר זה נותן גישה יותר אלגוריתמית לפתרון הבעייה. מחקר נוסף שעליו הסתמכתי היה של ראו, פראתפאניל ונאגאבושאנם ( & Prathapanil Rao, )Nagabhooshanam 2014 שעסק באפליקציות של מקדם מתאם מנורמל על זיהוי אוביקטיים בתמונה. מאמר זה נתן הסבר לפתרון הבעייה ודוגמא לזיהוי תבנית בתוך תמונה. בעבודה זו אציג את המתמטיקה מאחורי המודל של מקדם מתאם מנורמל ואיך המודל מציג כמה פתרונות מעשיים בעולם עיבוד תמונה. מחקרים רבים פורסמו בנושא וכולם מראים שיטות רבות לשימוש במקדם מתאם מנורמל. במהלך העבודה אציג כמה שימושים בולטים בעולם העיבוד תמונה ואיך המודל בא לידי ביטוי. 5

1. הצגת משוואת מקדם מתאם השימוש במקדם מתאם להתאמת תבניות מונעת על ידי מדידת מרחקים בשימוש של משוואת מרחק אוקלידית בריבוע. אם האותות הם דסקרטיים ונרצה לדעת מרחק בין הנקודה x x1, x2,..., xn והנקודה n i1 2 d x y i נקבל את המשוואה i כמתואר באיור 1. y y1, y2,..., yn איור - 1 מציאת מרחק על ידי משוואת מרחק אוקלידית בריבוע באם נתון תמונה מקורית g ואנו רוצים להתאים את התבנית f כמו שמתואר באיור 1. xy, התאמת תבנית לתמונה,, 2 2 d f, g f x y g x u y v איור - 1 נשתמש במשוואת מרחק אוקלידית בריבוע.u,v שמכוון במיקום g, תחת החלון x,y התבנית שנרצה לחפש והסכום הוא על f,, 2,,, d f x y f x y g x u y v g x u y v 2 2 2 f, g xy,. 2 g x u, y v Const, v,,. c u f x y g x u y v xy, 2 f x, הביטוי y Const והביטוי מה שמשאיר אותנו עם הנוסחא של מקדם מתאם ניתן גם לפתור לאותות רציפים למרות שמקרה של עיבוד תמונה זה לא בא לידי ביטוי. מקדם מתאם ל- 2 פונקציות רציפות, xy xy, מוגדר: t x t y d xy, אם נשווה זאת אם קובולוציה t x t y d 6

ההבדל היחיד שמקדם מתאם שאחד מהפונקציות לא הפיכה לכן: אם נבצע פעולה זו במישור התדר פעולה זו מוגדרת:.. xy, t x t y t x, y x, y FT t X f Y f מקדם מקדם אינו פעולה קוממוטטיבית אך קונבולוציה כן לכן ניתן לרשום. t t x, y x, y 1.1. חסרונות בשימוש במקדם מתאם דיסקרטי ישנם חסרונות לשימוש במקדם מתאם : cu,v 2 f x, y אם האנרגיה של התבנית משתנה שימוש במקדם מתאם יכול להיכשל )דוגמא: הערך של תמונה מקורית יהיה קטן מערך של תמונה עם אור בוהק(. cu,v ערך הביטוי משתנה לפי ערך התבנית. מקדם מתאם אינו נותן מענה לשינויים של אור בתמונה. 1.2. הצגת מקדם מתאם מנורמל מקדם מתאם מנורמל מתגבר על חסרונות אלה על ידי נורמליזציה של הוקטור תבנית ותמונה לגודל יחידה. נשתמש במקדם מתאם מנורמל של פירסון: uv, xy,, uv,, f x y f g x u y v g,, uv, x, y x, y 2 2 f x y f g x u y v g f uv, - התבנית, f x, y - הממוצע של התבנית. u, - g x התמונה, - g הממוצע של התמונה בגודל התבנית. y v משוואה זו נקראת מקדם מתאם מנורמל.. f 1.1. מימוש אלגוריתם מקדם מתאם מנורמל נסביר פה את עקרון הפעולה של האלגוריתם מקדם מתאם מנורמל במטלב כמתואר באיור 1. x, y חישוב גודל התבנית 7 g x, ריפוד התמונה y באפסים, נוסיף חצי מאורך התבנית בחלק העליון והתחתון של התמונה ונוסיף חצי מרוחב התבנית בחלק הימני והשמאלי של התמונה. נזיז את התבנית על גבי כל התמונה ותוך כדי חישוב הסכום של הערכים בתמונה. בנוסף נחשב הערך בריבוע, הסכום והשורש של התבנית והתמונה כמתואר בנוסחא. נחלק את הביטוי שקיבלנו מונה חלקי מכנה. נמצא את הערך המקסימלי של הביטוי ושם נמצא ההתאמה הקרובה ביותר. נשחזר את התבנית בתוך התמונה המקורית ונראה אם יש התאמה.

1. שימושים במקדם מתאם מנורמל לאחר הצגת המודל מקדם מתאם מנורמל, בעולם עיבוד התמונה התפתחו לאורך השנים כמה שימושים מרחקי לכת. השימוש הנפוץ במקדם מתאם מנורמל היה כמדד להערכת מידת הדמיון )או השוני( בין שתי תמונות. היתרון בשימוש במקדם מתאם מנורמל כנגד מקדם מתאם הוצג מקודם, החסרון היחיד הוא שלא ניתן לחשב את המודל בשיטת ה- Transform Fast Fourier במישור התדר דבר המקשה על יעילות החישוב. למרות זאת היתרונות והיעילות עולים על החסרונות לכן עדיף להשתמש במודל מקדם מתאם מנורמל. אציג כאן כמה מהשימושים הבולטים ואת הפרויקט בהנדסת חשמל שמשתמש במודל. 1.1.מציאת אובייקט אחד מהשימושים הבולטים הוא מציאת אובייקט בתוך תמונה. מציאת אובייקט למחשב זו מטלה קשה אם משווים לבני אדם שמבצעים פעולה זו ללא מאמץ ובאופן מיידי. אלגוריתם של מחשב צריך להתייחס לצורה, זווית, הצלה, יחס מידה ועוד לכן מטלה זו אינה פשוטה. שימוש במקדם מתאם מנורמל פותר לנו חלק מהבעיות הללו אך לא ב 111%. נצטרך להגדיר תבנית שנרצה לחפש בתוך תמונה גדולה. שימוש עיקרי במציאת אובייקט נשתמש בעורכי מעגלים חשמליים לודא שהרכיבים קיימים. מעגלים חשמלים עוברים הלחמה והרכבה אוטומטיים, צריך לודא בסיום העבודה שכל הרכיבים קיימים ובעייה נוספת הגדלים הקטנים של הרכיבים מקשה על בדיקה ויזואלית לכן ניתן לתכנת אלגוריתם שיאתר את הרכיבים בשיטה אוטומטית כמוצג באיור 1. איור - 1 מציאת אובייקט בתוך תמונה )2( מעגל מודפס )1( מציאת LT3791 בתמונה )1( הצגת המיקום בלוח Chip LT3791 (1) 1.2.עקיבה אחר אובייקט היום הולך וגדל השימושים של עקיבה לאחר אובייקטים בתחום הצבאי והאזרחי. הדבר הראשון שצריך לעשות הוא לבצע רכישה של המטרה בתמונה ואז להגדיר כל כמה זמן לחשב את מיקום האובייקט. גם כאן נעשה שימוש במקדם מתאם מנורמל על מנת לעקוב לאחר אובייקט ולסמן את המסלול שלו כמתואר באיור 1. 8

)1( עקיבה 1 איור - 1 עקיבה אחר אובייקט (1) רכישת מטרה )2( עקיבה )1( 1 עקיבה 2 1.1.זיהוי ספרות 1.1.1. מפרט פונקציונאלי המערכת מצלמת טופס מבחן בעזרת טלפון חכם שרץ עליו מערכת הפעלה אנדרויד 2.2 ומעלה, בעלת מצלמה עם רזולציה של מינימום 1.1 מגה פיקסל )1121x111(. בעזרת אפליקצית אנדרויד נכניס מספר תעודת זהות ונצלם/נבחר תמונה של המבחן. התמונה תעבור דחיסה לתמונה בגודל 1121x111 לכל תמונה שנבחרת שגדולה מהגודל הנ"ל. התמונה תשלח דרך אינטרנט סלולרי או אינטרנט מקומי אל השרת בכתובת קבועה. השרת יבצע עיבוד תמונה על מנת להמיר את התמונה לתשובה מספרית ולהשוות אותה עם תשובה שתשמר בשרת. השרת יחזיר מחרוזת המכילה את התשובה דרך האינטרנט אל האלפליקציה אשר תציג את התוצאה. 1.1.2. תרשים מלבנים כולל של המערכת המערכת בנויה מ- 3 חלקים עיקרים תוך שימוש ברשת האינטרנט להעברת מידע. באיור 1 ניתן לראות את תרשים המלבנים של המערכת וסדר שלבי המעבר בין המכלולים השונים. 9

איור - 1 תרשים זרימה של מכלולי הפרויקט 1.1.1. אפליקציית אנדרויד. 1.1.1.1. שלב תכנון בניית האפליקציה בפרויקט נעשה שימוש באפליקצית אנדרויד כדי לשלוח את התמונה של המבחן ולקבל תשובה. הדרך הטובה ביותר לבצע זאת כדי להתגבר על הבדלים בסוגי הטלפונים החכמים היא לשלוח את התמונה לשרת ששם יתבצע העיבוד תמונה ללא קשר למאפייני הטלפון. את האפליקציה ניתן לחלק ל- 3 מכלולים עיקריים כמתואר באיור 1: איור - 1 תרשים זרימה של האפליקציה 1.1.1.2. לקיחת תמונה זה המסך הראשון של האפליקציה שנקרא גם פעילות. יש הוראות שימוש והוא מחכה לקלט מהמשתמש של תעודת זהות כמתואר באיור 11, רק אם הזין 1 ספרות תיפתח לו האפשרות ללקיחת תמונה או בחירת תמונה מהזיכרון של הטלפון החכם כמתואר באיור 11. לאחר בחירת תמונה, תפעיל את המסך השני. במקרה ולא הזין 1 ספרות המשתמש יקבל הודעת שגיאה כמתואר באיור 12. 10

איור 11 מסך ראשון איור 11 אפשור צילום/בחירה איור 12 הודעת שגיאה 1.1.1.1. הורדת קנה מידה לתמונה זהו המסך השני הוא מציג את התמונה של המבחן ושדה של תעודת הזהות שהוזנה כמתואר באיור 13. האלגוריתם בודק את גודל התמונה אם גדול מ 1.1 מגה פיקסל שזה 1024x768 הוא מוריד קנה מידה לרזולוציה הנ"ל. ישנה אפשרות לחזור למסך קודם זה יגרור מחיקת התמונה שצולמה. אם המשתמש מאשר את התמונה הוא יעבור למסך הבא. איור 11 מסך שני 1.1.1.1. העלאת תמונה לשרת והמתנה לתשובה זהו המסך השלישי כמתואר באיור 11 הוא אחראי על העלאת התמונה לשרת בעל כתובת קבועה. כאשר המשתמש לוחץ על כפתור העלאה נפתח קישוריות לאינטרנט דרך רשת סלולרית / רשת אלחוטית כמתואר באיור 11 ומחכה לתשובה חזרה מהשרת. השרת מחזיר תשובה של.Success/Failed אם השרת החזיר Success הוא קורא את התשובה מהשרת ומציג אותה במסך ורושם אם הצליחה או נכשלה ביחס לקובץ תבנית כמתואר באיור 11. 11

איור 11 מסך שלישי איור 11 העלאת תמונה איור 11 תשובה מהשרת.1.1.1.1 דיאגרמת מחלקה - Diagram Class דיאגרמת מחלקה כמתואר באיור 11 מציג את מבנה המערכת של האפליקציה ע"י הצגת מחלקותיה והקשרים בינהם. איור 11 דיאגרמת מחלקות 1.1.1. טופס תשובות 1.1.1.1. תכנון טופס תשובות כדי להתחיל את בניית האלגוריתם של עיבוד תמונה היה צורך לבנות דף תשובות עם מידע על כל פרט בדף ברמת הפיקסל. ישנם כמה הגדרות עיקריות שעליו התבסס עיצוב הדף, כל מבנה של ספרה יהיה באורך 11 פיקסל ורוחב 11 פיקסל. טופס התשובות כמתואר באיור 13 מורכב מהזנת 1 ספרות אחרונות של ת"ז ו 1 תשובות אפשריות כשכל תשובה כוללת 1 מספרים. ישנם בסה"כ 12 אפשרויות לכתיבה כמתואר באיור 11. 12

איור 11 אפשרויות הכתיבה 1.1.1.2. הוראות צילום ומילוי טופס בחינה. יש למלא את הספרות כקווים ישרים ולא להשאיר רווחים בין קו לקו. יש לצלם את הדף לרוחב כאשר הקצה העליון בצד שמאל כמתואר באיור 11. יש לצלם כאשר המצלמה אופקית. יש לצלם את כל הדף אך לצלם קצת מעבר לקצה הדף ושהמצלמה מקבילה לדף. 1.1.1.1. טופס הבחינה איור 11 טופס הבחינה.1.1.1 שרת PHP 13 1.1.1.1. תכנון שרת PHP בעבודה זו הותקן שרת PHP על המחשב האישי שמחובר לאינטרנט כמתואר באיור 21. היה צורך בתכנות סקריפט PHP שמקבל תמונה מהטלפון החכם ומפעיל סקריפט מטלב לעיבוד תמונה. בסיום ישלח את המידע חזרה לטלפון הנייד ויסגור את הקישור. בעקבות התקנת השרת על המחשב האישי השרת עדיין לא היה ציבורי כדי שהטלפון החכם יכול לתקשר איתו. לשם כך הותקן סקריפט פיטון של חברת PageKite אשר נותן לך כתובת קבועה http://nyw.pagekite.me וכך הופך את השרת לציבורי.

איור 21 תרשים זרימה של השרת 1.1.1. עיבוד תמונה 1.1.1.1. סיבוב ותיקון קנה מידה כאשר השרת מקבל תמונה לא בהכרח שהיא בסיבוב הנכון או בקנה מידה הנכון. לכן בעזרת סקריפט מטלב אנו מקבלים את התמונה מהטלפון הנייד ומשווה אותו לטופס המבחן המקורי. נעשיית השוואה בין נקודות דומות בתמונות ואז נעשה חישוב של כמה סיבוב וכמה תיקון קנה מידה צריך לעשות. בסיום נשמרת התמונה אחרי התיקון. נעשית עבודה עם אלגוריתם SIFT Scale Invariant Feature Transform כדי לתקן את התמונה. נקודות SIFT מחולצות מתמונה, אובייקט מאותר בתמונה ע"י השוואה עם התמונה המקורית ע"י משוואת מרחק אוקלידית כמתוארת להלן: p p q q d p q p q p q if p=,,q=,, 2 2 1 2 1 2 1 1 2 2 לאחר קבלת הבדלים במרחקים בין 2 התמונות כמתואר באיור 21 נקבל זוויות לתיקון הסיבוב ויחס לתיקון קנה מידה של התמונה. איור 21 אלגוריתם SIFT לתיקון סיבוב ויחס קנה מידה 14 y arc tan, r x y x 2 2 המשוואת לזווית והזזה:

1.1.1.2. חיתוך וזיהוי לאחר תיקון סיבוב וקנה מידה, נחתכים כל התשובות, ונעשיית השוואה מול מסד נתונים. נציג את האלגוריתם מציאת ספרה המתואר באיור 23. המספרים בטופס התשובות במקומות קובעים לכן נחתוך ספרה ספרה. הפיכת תמונה לשחור לבן זה השלב הראשון כדי להתאים לתמונת המקור. יש לנו תמונה שמיוצת במטריצה דו-מימדית 1024x768 בכל פיקסל יהיה ערך מ 0-255. כל ערך מנורמל ע"י 211 כך שנקבל בסוף מטריצה דו מימדית ובכל פיקסל יהיה ערך 0-1. כל פיקסל עובר את המשוואה הבאה: x i, j x i, j 255 העברת הספרה דרך Median Filter כדי לטפל ברעשי pepper" "Salt and כמתואר באיור 22. איור 22 דרך פעולה של Median פילטר 1X1 משוואה של Median פילטר 3X3 ניתן להרחיב את הפילטר בהתאם לגודל המטריצה אך לשלם בזמן הרצה. x median x, x, x, x, x, x, x, x, x i, j i1, j1 i, j1 i1, j1 i1, j i, j i1, j i1, j1 i, j1 i1, j1 בסוף נעשית השוואה של הספרה מול מסד הנתונים ישנם 12 תבניות לשם השוואה. כל השוואה בשיטת Normalized D-2 Cross-Correlation תחזיר תשובה בין 0-1 וניקח את התשובה המקסימלית בתור התשובה שלנו. איור 21 אלגוריתם מציאת ספרה 15

נבדקו מספר רב של טפסים לשם בדיקת תקינות של Normalized D-2 Cross-Correlation נציג בטבלה 1 מדגם של כמה מהניסויים. ניסוי מספר 1 2 3 4 5 6 7 8 צבע שחור שחור כחול כחול שחור שחור כחול כחול מספר הצלחות מספר תשובות גודל 31 40 0.5 Pixels 31 40 0.5 Pixels 31 40 0.5 Pixels 31 40 0.5 Pixels 31 40 0.7 Pixels 31 40 0.7 Pixels 31 40 0.7 Pixels 31 40 0.7 Pixels טבלה 1- תוצאות זיהוי ספרות אחוז הצלחה 90.0% 90.0% 92.5% 95.0% 95.0% 95.0% 87.5% 85.0% במהלך בדיקת הטפסים נחקר מה ההסתברות לזיהוי ומהו הספרה השגויה שנקבל במקרה וטעות זיהוי. נוכל לראות מהתוצאת שמרוכזות טבלה 2 שרוב השגיאות נובעות מזיהוי של ספרות 1 ו- 1 בתור ספרה 1 1, ו- 1. מספר 1 2 3 4 5 6 הסתברות זיהוי זיהוי 2 זיהוי 1 מספר הסתברות זיהוי זיהוי 2 זיהוי 1 גבוהה 1 3 7 גבוהה 7 נמוכה 6 5 8 גבוהה 8 בינונית 4 9 גבוהה 8 גבוהה 8 6 E גבוהה 9 גבוהה - בינונית 8 6 גבוהה 8 0 נמוכה 8 5 טבלה 2- טבלת זיהוי הסתברות והטעויות הנפוצות לכל ספרה 16

1. סיכום ודיון 1.1.סיכום בספר זה מפורטים מוצג מודל מקדם מתאם מנורמל ושימושיו בעולם העיבוד תמונה. במהלך הספר הצגתי את הפירוט המתמטי למודל וכן את ההבדלים שנעשו מהמודל הקודם מקדם מתאם ומהם חסרונתיו ביחס למקדם מתאם מנורמל. במהלך העבודה הצגתי 3 שימושים בולטים למודל ואיך הם באים לידי ביטוי בעולם העיבוד תמונה. 2 השימושים הראשונים הינם שימושים בולטים בתחום העיבוד תמונה, אחד השימושים הוא זיהוי אובייקטים בתוך תמונה שימוש זה נרחב בעולם העיבוד שבבי במכונות.SMT שימוש שני נפוץ הוא רכישה של מטרה ועקיבה לאחר המטרה בכ ל השלבים, שימוש זה נרחב בעולם הצבאי. השימוש השלישי הוא הפרויקט המחקרי שביצעתי במסגרת תואר בהנדסת חשמל, כאשר השימוש שלו הוא זיהוי ספרות ועיבוד ומתן ציון לטופס מבחן. שלבי העבודה הנדרשים להפעלת אפליקציית אנדרויד שתצלם / תבחר טופס תשובות ותשלח לשרת חיצוני את התמונה לעיבוד תמונה. בשרת יבוצע סיבוב ותיקון קנה מידה לתמונה בעזרת אלגוריתם.SIFT בעזרת Normalized D-2 Cross-Correlation ניסינו למצוא את הספרות שבטופס הבחינה. נמצא כי השימוש Normalized D-2 Cross-Correlation נותן לנו הצלחה גבוהה של 111%-11%. המערכת מצליחה לאתר בממוצע מעל 31 מתוך 11 מספרים בטופס הבחינה. 1.2.מסקנות הפרויקט מציג יכולות מאוד גבוהות ומדוייקות בזיהוי אובייקטים ומהם השימושים הנפוצים כיום בשוק. במהלך העבודה נחשפתי לעולם העיבוד התמונה ואיך בעזרת מודלים מתמטיים וסטיסיטים ניתן להגיע לתוצאות גבוהות ויעילות בשונה מהיכולת של בן אדם. הפרויקט בהנדסת חשמל מראה כי ישנה אפשרות לזהות את התשובות הנכונות בטפסי המבחן ובעזרת פיתוח נוסף ניתן להגיע לפרוייקט שיציג תשובה של טופס התשובות באופן מלא. מעבר לכך הפרוייקט מראה שיש אפשרות של פיתוח טכנולוגי שניתן להשתמש בו ללימודי הנדסת חשמל ואלקטרוניקה לממש יכולות טלפון חכם -< שרת -< מטלב על מנת לבצע פרוייקטים מתקדמים עתידיים. 17

1. סימוכין [1] J. P. Lewis, Fast Template Matching, Vision Interface, p. 120-123, 1995. [2] Y.R.Rao, N.Prathapani and E.Nagabhooshanam, "Application of Normalized Cross Correlation to Image Registration. IJRET, 2014 [3] J.N.Sarvaiya, Dr.S.Pathnail, S.Bombaywala, "Image Registration By Template Matching Using Normalized Cross-Correlation, International Conference on Advances in Computing, Control, and Telecommunication Technologies, 2009 [4] EE368/CS232 Digital Image Processing http://web.stanford.edu/class/ee368/index.html [5] Android Developers http://developer.android.com/index.html [6]Android Point http://sunil-android.blogspot.co.il/2013/09/file-upload-on-php-server-inandroid.html [7] MathWorks http://www.mathworks.com/ [8] Eclipse https://www.eclipse.org/ [9] Android (operating system) http://en.wikipedia.org/wiki/android_(operating_system) [10] WolframMathWorld http://mathworld.wolfram.com/cross-correlationtheorem.html [11] Scale Invariant Feature Transform http://www2.it.lut.fi/kurssit/07-08/ct20a6100/seminars/2009-2010/sift.pdf [12] Wikipedia Cross Correlation http://en.wikipedia.org/wiki/cross-correlation [13] Wikipedia Pearson correlation coeddicient http://en.wikipedia.org/wiki/pearson_product-moment_correlation_coefficient [14] Image Processing Wikipedia http://www.disi.unige.it/person/rovettas/rad/imageprocessing-wikipedia-book.pdf [15] Bahram Javidi Image Recognition and Classification, Algorithms, Systems, and Application, 2001 18